Năm 228, Thừa tướng nhà Thục Hán là Gia Cát Lượng xuất quân bắc phạt, ra Kỳ Sơn lần thứ nhất. Thái thú Thiên Thuỷ là Mã Tuân dẫn ông cùng Lương Tự, Doãn Thưởng, Lương Kiều và thứ sử Ung châu là Quách Hoài đi tuần các nơi.

Nghe tin quân Thục đến Kỳ Sơn, Quách Hoài trở về Thượng Khuê phòng bị. Mã Tuân một mình ở lại Ký huyện xa xôi phía tây, thế cô, có ý lo sợ. Khương Duy khuyên Tuân về phòng thủ Ký huyện nhưng Tuân không nghe và có ý nghi ngờ Khương Duy, nói rằng:

Bọn các ngươi đều không đáng tin cậy!

Rồi Tuân nhân đêm tối bỏ chạy về Thượng Khuê với Quách Hoài. Khương Duy sau mới phát hiện ra, bèn chạy theo, nhưng đến nơi thì thành Thượng Khuê đóng cửa, không cho ông vào. Ông quay trở về Ký huyện thì Ký huyện cũng đóng cửa ngăn ông. Ông bèn chạy sang đầu hàng Gia Cát Lượng.

Thấy ông lại hàng, Gia Cát Lượng rất mừng. Nhưng sau đó Mã Tốc để mất Nhai Đình nên quân Thục phải triệt thoái. Khương Duy theo quân Thục về nước và lạc mất mẹ.

Gia Cát mến tài ông, phong làm Thương tào duyện, Phụng Nghĩa tướng quân, rồi Đan Dương đình hầu khi ông mới 28 tuổi (230). Trong thư gửi Trương Duệ, Gia Cát khen ngợi tài năng của ông:

“Khương Bá Ước trung thành, chăm chỉ, suy nghĩ thấu đáo, Lý Thiệu, Mã Lương cũng không sánh được, quả là kẻ sĩ đất Lương Châu... Khương Bá Ước là người trung thành, cần cù, suy nghĩ chín chắn, lại được lòng binh sĩ. Người này có lòng với Hán thất, tài cán hơn người. Trước tiên để hắn huấn luyện 5, 6 ngàn quân tinh nhuệ, giao việc quân sự cho hắn, rồi dẫn về cung diện kiến Thiên tử"

Trong thời gian Gia Cát Lượng ra Kỳ Sơn đánh Tào Ngụy những lần sau đó, Khương Duy đều tham gia chiến trận.